import torch
EMBEDDING_DEVICE = "cuda" if torch.cuda.is_available(
) else "mps" if torch.backends.mps.is_available() else "cpu"
LLM_DEVICE = "cuda" if torch.cuda.is_available(
) else "mps" if torch.backends.mps.is_available() else "cpu"
num_gpus = torch.cuda.device_count()
print("EMBEDDING_DEVICE=",EMBEDDING_DEVICE," num_gpus=",num_gpus)
DIR_MODEL="models"
DIR_LORA="lora"
DIR_EMBEDDING_MODELS="embedding_models"
MODEL_CACHE_PATH = 'model_cache'
# PROMET_TEMPLATE = """基于以下已知信息，请简洁并专业地回答用户的问题。
#                 如果无法从中得到答案，请说 "根据已知信息无法回答该问题" 或 "没有提供足够的相关信息"。不允许在答案中添加编造成分。另外，答案请使用中文。
#
#                 已知内容:
#                 {context}
#
#                 问题:
#                 {question}"""
PROMET_TEMPLATE = """基于以下已知内容，请简洁并专业地回答用户的问题。如果可以从已知内容从获取到答案，在不改变已知内容的情况下进行回答。如果无法从已经内容中得到答案，请忽略已知内容进行回答。另外,回答请用中文。

                已知内容:
                {context}

                问题:
                {question}
                """
